#мультимодальный ИИ

'Luma AI закрыла раунд на $900M и ориентируется на мультимодальные World Models, способные понимать видео, аудио и 3D-пространство. Партнёрство с саудовским суперкластером подчёркивает серьёзность намерений.'

'Gemini 3 научился собирать визуальные, интерактивные ответы и получил экспериментальный Gemini Agent для выполнения многошаговых задач внутри сервисов Google.'

'Qwen-Image-Edit расширяет Qwen-Image и предлагает точные семантические и визуальные правки с поддержкой китайского и английского.'

ИИ Google Gemini теперь создает цифровое искусство в стиле вязания крючком по текстовым запросам, объединяя передовые технологии и уютную ручную эстетику.

Система ThinkAct от NVIDIA сочетает визуально-языковое рассуждение с усиленным латентным планированием, значительно улучшая управление роботами в сложных задачах.

RoboBrain 2.0 от BAAI объединяет зрение и язык для развития воплощённого ИИ в робототехнике, предлагая масштабируемые модели и продвинутые возможности рассуждения.

Alibaba представила Lumos-1 — унифицированную автогрессивную модель генерации видео, использующую MM-RoPE и AR-DF для эффективного моделирования пространственно-временных зависимостей с конкурентными результатами и эффективным обучением.

Команда Alibaba Qwen представила Qwen-VLo — продвинутую мультимодальную модель для генерации и редактирования изображений с поддержкой нескольких языков и поэтапным созданием сцен.

BAAI представляет OmniGen2 — передовую унифицированную модель мультимодального ИИ, показывающую лучшие результаты в генерации изображений по тексту, редактировании и оценке контекстной согласованности среди открытых моделей.

WINGS представляет архитектуру с двойным обучающим модулем, которая балансирует внимание между текстом и изображениями в мультимодальных языковых моделях, существенно снижая забывание текста и повышая производительность.

VeBrain представляет единую мультимодальную систему ИИ, которая сочетает визуальное рассуждение и управление роботами, демонстрируя выдающиеся результаты в сложных реальных задачах.

NVIDIA выпустила Llama Nemotron Nano VL — компактную модель для комплексного понимания документов с эффективной мультимодальной обработкой и передовыми результатами точности.

MiMo-VL-7B — мощная визуально-языковая модель от исследователей Xiaomi, показывающая передовые результаты в визуальном понимании и мультимодальном рассуждении благодаря инновационным методам обучения.

Плохие данные о товарах в моде приводят к потерям продаж, росту возвратов и неудовлетворенности клиентов. Мультимодальный ИИ помогает повысить точность данных и оптимизировать работу ритейла.

Google представила MedGemma — новый открытый набор ИИ-моделей для комплексного анализа медицинских текстов и изображений, доступный разработчикам через Hugging Face и Google Cloud.

'Новое исследование показывает, что GPT-4.1 испытывает трудности с точным чтением аналоговых часов из-за опоры на визуальное сопоставление шаблонов вместо концептуального понимания, что подчеркивает вызовы в мультимодальном обучении ИИ.'

Модели OpenAI o3 и o4-mini предлагают прорывные улучшения в визуальном анализе и программировании с помощью ИИ, обеспечивая высокую точность, мультимодальную обработку и эффективные рабочие процессы.

Новое исследование представляет General-Level и General-Bench для оценки истинной синергии в мультимодальных моделях ИИ, показывая, что современные системы недостаточно интегрированы по задачам и модальностям.

Ming-Lite-Uni — инновационный открытый AI-фреймворк, объединяющий текст и визуальные данные с помощью авторегрессионной мультимодальной структуры, обеспечивая качественную генерацию и редактирование изображений с учетом контекста.

X-Fusion предлагает архитектуру с двумя башнями, добавляя визуальные возможности к замороженным большим языковым моделям, сохраняя их языковые навыки и улучшая мультимодальную производительность.

UniversalRAG представляет динамическую систему маршрутизации, эффективно обрабатывающую мультимодальные запросы, выбирая наиболее релевантную модальность и уровень детализации, превосходя существующие RAG-модели.

Alibaba представила Qwen2.5-Omni-3B — мультимодальную модель с 3 млрд параметров, которая снижает использование видеопамяти более чем на 50%, сохраняя производительность, близкую к 7 млрд модели, и подходит для потребительских GPU.

Google расширяет возможности NotebookLM, добавляя аудио обзоры на более чем 50 языках, что повышает доступность и удобство ИИ-суммирования по всему миру.

Judge-Image от Patronus AI с поддержкой Google Gemini улучшает оценку мультимодальных ИИ-систем, обеспечивая точные и надежные результаты преобразования изображений в текст.

Skywork AI представляет R1V2 — современную мультимодальную модель с гибридным обучением с подкреплением, которая улучшает специализированное рассуждение и обобщение, превосходя многие открытые и проприетарные модели.

NVIDIA представила Describe Anything 3B — мультимодальную большую языковую модель, которая превосходит существующие решения в детальном локализованном описании изображений и видео.

Новые модели OpenAI o3 и o4-mini предлагают мощные возможности мультимодального мышления и интеграции инструментов, повышая точность и универсальность ИИ в работе с текстом, изображениями и кодом.